CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense
CiteShade:多源检索增强生成中的引用洗钱攻击及其反事实防御
🧭 RAG 引用安全与防御
City University of Hong Kong
提出首个 RAG 引用洗钱攻击,展示如何让模型把错误答案归因于可信源,并给出反事实防御。
📌 工作参考价值(4 点)
- 在构建基于 RAG 的搜索/问答/推荐解释系统时,不能默认引用真实可靠:攻击者可通过单一恶意源污染多源上下文,需引入引用链路验证机制,单纯检查答案困惑度或引用支持度不够(本文已证明可被绕过)。
- 借鉴反事实防御思路:在线生成后执行“源删除”或干预测试,观察答案是否改变,以检测哪个来源真正驱动了答案,可作为校验模块部署在生成链路末端。
- 漏洞与模型的引用倾向相关而非模型规模,选型时应实测模型在引用指令下的“易受骗程度”,优先选择引用倾向低或约束引用格式的模型,而不是只看参数规模。
- 在多源外部数据接入(商品描述、用户评论、广告文案)时,建议对来源可信度分级,并对引用来源做隔离或加权,防止低可信来源劫持高可信来源的引用。